Tento původně francký rod je ještě s predikátem ze Seinsheimu poprvé zmiňován v roce 1127. V 15. století koupili v Bavorsku panství Schwarzenberg a brzy nato získali od krále Zikmunda za účast v bojích proti husitům také statky v Čechách. V roce 1598 zvítězil Adolf ze Schwarzenbergu nad Turky v bitvě u Rábu, což mu vyneslo hraběcí titul a polepšení erbu o krkavce klovajícího do hlavy Turka. Během 17. století rozšířili svůj majetek o Třeboň, Křivoklát, Krušovice nebo Hlubokou a díky šikovné sňatkové politice také o rozsáhlý majetek eggenberský. V roce 1802 se rod rozdělil na dvě větve a vznikl majorát hlubocký, reprezentovaný Josefem II. a orlický, jehož hlavou byl Karel Filip. V roce 1962 byl hlavní představitel orlické sekundogenitury Karel VII. adoptován hlavou hlubocké primogenitury Jindřichem ze Schwarzenbergu a po smrti svého adoptivního strýce Josefa III. v roce 1979 se stal hlavou znovusjednoceného rodu.